Jev-Mobile: Jev as an Executor for Mobile GUI Agents
Jev-Mobile:将 Jev 作为移动 GUI Agent 的执行器
🧭 Agent 分层执行 · 高低频解耦
Rice University
在移动 GUI Agent 中把 VLM 高频规划改为低频目标设定,由轻量 Jev 在结构化动作空间中高频执行,实现成功率相近、延迟与成本大幅下降
📌 工作参考价值(4 点)
- 高低频分离策略可迁移到电商 Agent:将昂贵 LLM 的职责限制在设定子目标或局部状态,把高频操作交给轻量决策模型或规则系统,在结构化候选空间内做选择,可大幅降低 API 成本与延迟。
- 结构化动作空间是落地关键:用 accessibility tree / DOM / schema 预先枚举可执行动作,而不是让 LLM 自由生成坐标或文本,能减少非法动作并简化执行器模型设计;在移动端自动化、RPA、购物助手中可复用。
- 单次 LLM 决策驱动多步执行:借鉴“一次规划、多次执行”的模式,让 LLM 输出局部目标或子任务序列,由轻量执行器完成中间交互,避免每步都带全量上下文调用 VLM。
- 评估指标同时看成功率与效率:业务部署中不仅关注任务完成,也要跟踪端到端时长和模型调用成本;即使成功率略降,成本/延迟大幅下降的方案可能更值得上线。